jMeter 性能测试相关术语
性能测试相关术语
1、并发(Concurrency)/并行(Parallelism):
(1)并行
当有8个请求同时进来时,这些任务被CPU的8核分别处理,它们都拥有CPU资源并不相互干扰,此时CPU是在【并行】地处理任务。
(2)并发
如果是单核CPU,同时有8个请求进来时,请求只能排队被CPU处理,此时8个请求是【并发】的,所以并发是针对一个对象(单核CPU)发生多个事件(请求)
并行是多个对象(多个CPU核)同时处理多个事件(请求)。
2、负载:
模拟业务操作对服务器造成压力的过程,比如模拟100个用户进行订单提交。
负载的产生受数据的影响,我们常说量变引起质变,比如查询100条与查询100万条数据的响应时间很可能有差异。
4、性能测试(Performance Testing):
模拟用户负载来测试在负载情况下,系统的响应时间、吞吐量等指标是否满足性能要求。
5、负载测试(Load Testing):
在一定软硬件环境下,通过不断加大负载(不同虚拟用户数)来确定在满足性能指标情况下的承载极限。简单地说,它可以帮助我们对系统进行定容定量,找出系统性能的拐点,给出生产环境规划的建议。这里的性能指标包括TPS(每秒事务数)、RT(事务平均响应时间)、CPU Using(CPU利用率)、Mem Using(内存使用率)等软硬件指标。从操作层面上来说,负载测试也是一种性能测试手段,比如配置测试就需要变换不同的负载来进行测试。
6、配置测试(Configuration Testing):
为了合理地调配资源,提高系统运行效率,通过测试手段来获取、验证、调整配置信息的过程。通过这个过程我们可以收集到不同配置反映的不同性能,从而为设备选择、设备配置提供参考。
7、压力/强度测试(Stress Testing):
在一定软硬件环境下,通过高负载的手段使服务器资源(强调服务器资源,硬件资源)处于极限状态,测试系统在极限状态下长时间运行是否稳定,确定是否稳定的指标包括TPS、RT、CPU使用率、Mem使用率等。
8、稳定性测试(Endurance Testing):
在一定软硬件环境下,长时间运行一定负载,确定系统在满足性能指标的前提下是否运行稳定。与上面的压力/强度测试区别在于,稳定性测试负载并不强调是在极限状态下,着重的是满足性能要求的情况下系统的稳定性,比如响应时间是否稳定、TPS是否稳定、主机是否稳定。一般我们会在满足性能要求的负载情况下加大1.5~2倍的负载量进行测试。
8、TPS:
每秒完成的事务数,有时用QPS(每秒查询数)来代替,通常指每秒成功的事务数,这是性能测试中重要的综合性性能指标。一个事务是一个业务度量单位,有时一个事务会包括多个子操作,但为了方便统计,我们会把这些子操作计为一个事务。比如一笔电子支付操作,在后台系统中可能会经历会员系统、账务系统、支付系统、会计系统、银行网关等,但对于用户来说只想知道整笔支付花费了多长时间。
9、RT/ART(Response Time/Average Response Time):响应时间/平均响应时间,指一个事务花费多长时间完成(多长时间响应客户请求),为了使这个响应时间更具代表性,会统计更多的响应时间然后取平均值,即得到了事务平均响应时间(ART),通常我们说的RT是代指平均响应时间。
10、PV(Page View):每秒用户访问页面的次数,此参数用来分析平均每秒有多少用户访问页面。
11、Vuser虚拟用户(Virtual User):
模拟真实业务逻辑步骤的虚拟用户,虚拟用户模拟的操作步骤都被记录在虚拟用户脚本里。Vuser脚本用于描述Vuser在场景中执行的操作。
12、场景(Scenario):
性能测试过程中为了模拟真实用户的业务处理过程,在测试工具中构建的基于事务、脚本、虚拟用户、运行设置、运行计划、监控、分析等一系列动作的集合,称之为性能测试场景。此场景中包含了待执行脚本、脚本组、并发用户数、负载生成器、测试目标、测试执行时的配置条件等。简单地说,就是把若干个业务的性能测试脚本组织成一个执行单元,对执行单元进行一揽子的配置来保证测试的有效执行。比如负载测试时,我们可以设置一种图1-7所示的阶梯形负载增长场景。
图1-7 阶梯形负载增长场景
(13)思考时间(Think Time):模拟正式用户在实际操作时的停顿间隔时间。从业务的角度来讲,思考时间指的是用户在进行操作时,每个请求之间的间隔时间;在测试脚本中,思考时间体现为脚本中两个请求语句之间的间隔时间。
(14)标准差(Std. Deviation):该标准差根据数理统计的概念得来,标准差越小,说明波动越小,系统越稳定;反之,标准差越大,说明波动越大,系统越不稳定。常见的标准差包括响应时间标准差、TPS标准差、Running Vuser标准差、Load标准差、CPU资源利用率标准差等。